ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams
ReflectWorld-MM: 面向实体的开放视频流多模态记忆系统
🧭 面向实体的视频流长期记忆 · Agent 记忆增强
Rightly Robotics · Hangzhou Institute for Advanced Study, UCAS · Zhejiang University
以实体为中心的分层多模态记忆系统，在六个长视频与终身记忆基准中全面超越现有方案
📌 工作参考价值（4 点）
- 用户长期兴趣建模：借鉴实体为中心的语义记忆，将用户行为序列中的商品、品牌、品类等作为持久实体，动态更新其表示，避免遗忘历史兴趣，适用于电商推荐中的长周期兴趣刻画。
- Agent 对话记忆架构：分层记忆设计（情景记忆、语义记忆、程序记忆）可直接迁移到对话推荐或客服 Agent，使 Agent 能跨会话记住用户提及的实体及其变化，提升连续交互的连贯性。
- 流式数据处理：感知前端与短时记忆的边界设计，适合工程化实现流式用户行为输入下的增量更新，可参考其在特征存储和实体解析上的工程权衡，构建实时推荐特征管道。
- 多模态扩展思路：若将视频流替换为商品图文流或直播流，实体导向记忆有助于捕捉跨模态的同一商品，为多模态召回或排序提供一致的表征。